RESOURCE2SKILL: Distilling Executable Agent Skills from Human-Created Multimodal Resources
多模态资源蒸馏：为软件智能体构建可执行技能库
🧭 多模态技能蒸馏与智能体执行
Microsoft Research · University of California, Santa Cruz · Shanghai Jiao Tong University
从视频、代码、文章等资源蒸馏可执行技能，以层次化多模态技能维基提升智能体在7个创作领域的表现，平均总分提升11.9个百分点
📌 工作参考价值（4 点）
- Agent 技能库构建范式：在电商场景中，可将商品详情页生成、广告创意制作、活动页面搭建等重复性任务拆解为技能，从现有的视频教程、设计模板、代码仓库等多模态资源中自动蒸馏出可执行技能，而非手工编写。
- 多模态技能表示 trick：每个技能条目同时包含结构化文本（步骤描述）、代码片段（可执行工具调用）、视觉示例（关键帧截图）和元数据，这种多信号互补的设计能显著提升 Agent 对操作流程的理解和生成质量，值得在涉及视觉/交互的任务中借鉴。
- 层次化组织与按需检索：技能库采用树状层次结构，Agent 在推理时根据任务目标动态检索并组合子技能；当现有技能覆盖不足时，还能在线从资源中实时获取新技能——这种“存量+增量”的机制可迁移到需要持续扩展能力的电商 Agent 系统中。
- 消融实验结论复用：多模态格式、层次组织、多源资源、选择策略和在线获取都对性能有显著增益，说明在构建类似的 Agent 技能系统时，这些组件都有必要保留。